16 自协方差函数的估计

\[\begin{align} \hat\gamma_k =& \frac{1}{N} \sum_{j=1}^{N-k} (x_j - \bar x_N) (x_{j+k} - \bar x_N), \quad 0 \leq k \leq N-1 , \tag{16.1} \\ \hat\gamma_{-k} =& \hat\gamma_k \nonumber \end{align}\]

样本自相关系数(ACF)估计为 \[\begin{align} \hat\rho_k = \frac{\hat\gamma_k}{\hat\gamma_0}, \quad |k| \leq N-1 \tag{16.2} \end{align}\] \(k\)较大时参与平均的项减少所以\(\hat\gamma_k\)估计误差会随\(k\)增大而变大。

估计\(\gamma_k\)一般不使用除以\(N-k\)的估计形式: \[\begin{align} \hat\gamma_k =& \frac{1}{N-k} \sum_{j=1}^{N-k} (x_j - \bar x_N) (x_{j+k} - \bar x_N) \tag{16.3} \end{align}\] 因为：

只要观测\(x_1,x_2,\dots,x_N\)不全相同则 \[\begin{aligned} \hat\Gamma_N = (\hat\gamma_{k-j})_{k,j=1,2,\dots,N} \end{aligned}\] 正定。

令\(y_j = x_j - \bar x_N\)，记 \[\begin{align} A=\left ( \begin{array}{*{10}c} &0 \ &\cdots\ & 0\ &y_1 \ &y_2 \ &\cdots&\ y_{N-1} \ &y_N \\ &0 \ &\cdots\ &y_1 &y_2 \ &y_3\ &\cdots&\ y_{N} \ & 0 \\ &\vdots \ &\cdots\ &\vdots & \vdots &\vdots & \cdots& \vdots &\vdots\\ &y_1 &\cdots& y_{N-1} & y_N &0 &\cdots &0 &0 \end{array} \right) \tag{16.4} \end{align}\] 则 \[\begin{aligned} \hat\Gamma_N = \frac{1}{N} A A^T \end{aligned}\] 只要\(y_j\)不全是零则\(A\)满秩。

事实上，设\(y_1=\dots=y_{k-1}=0\), \(y_k \neq 0\)，则\(A\)矩阵左面会出现一个以\(y_k\)值开始非零的斜面， 显然是满秩的。 故\(x_1,\dots,x_N\)不全相同时\(\hat\Gamma_N\)正定。 \(\hat\Gamma_n\)(\(1\leq n \leq N\))作为\(\hat\Gamma_N\)的主子式也是正定的。

定理16.1 设平稳序列的样本自协方差函数\(\hat \gamma_k\) 由(16.3)或(16.3)定义.

(1)  如果当\(k\to \infty\) 时 \(\gamma_k \to 0\), 则对每个确定的\(k\), \(\hat \gamma_k\) 是 \(\gamma_k\)的渐近无偏估计: \[ \lim_{N\to \infty} E\hat \gamma_k = \gamma_k. \]

(2)  如果\(\{X_t\}\)是严平稳遍历序列, 则对每个确定的\(k\), \(\hat \gamma_k\) 和 \(\hat \rho_k\) 分别是 \(\gamma_k\) 和\(\rho_k\) 的强相合估计: \[ \lim_{N\to \infty} \hat \gamma_k =\gamma_k \ , \text{a.s.}, \quad \lim_{N\to \infty} \hat \rho_k =\rho_k \ , \text{a.s.} \]

证明

下面只对由(16.3)定义的样本自协方差函数证明, 对由(16.3)定义的\(\hat \gamma_k\)的证明是一样的.

设\(\mu=EX_1\), 则 \(\{Y_t\}=\{X_t-\mu\}\) 是零均值的平稳序列. 利用 \[ \bar Y_N= \frac1N\sum_{j=1}^N Y_j = \bar X_N - \mu \] 得到 \[\begin{align} \hat \gamma_k =& \frac1N \sum_{j=1}^{N-k} (Y_j- \bar Y_N)(Y_{j+k}- \bar Y_N) \\ =& \frac1N\sum_{j=1}^{N-k} [ Y_j Y_{j+k} - \bar Y_N( Y_{j+k} +Y_j) + \bar Y_N ^2 ]. \tag{16.5} \end{align}\]

利用(15.2)得到 \(E\bar Y_N^2=E(\bar X_N - \mu)^2 \to 0\). 利用Schwarz不等式得到 \[\begin{aligned} E|\bar Y_N( Y_{j+k} +Y_j)| \leq [E\bar Y_N^2 E(Y_{j+k} +Y_j)^2]^{1/2} \leq [E\bar Y_N^2 \cdot 4 \gamma_0]^{1/2} \to 0. \end{aligned}\] 所以当\(N\to \infty\), \[ E\hat \gamma_k = \frac1N\sum_{j=1}^{N-k}E(Y_j Y_{j+k}) +o(1) = \frac{N-k}N \gamma_k +o(1) \to \gamma_k. \]

强相合性的证明: 用遍历定理得到 \[\begin{aligned} &\bar Y_N \to E Y_1=0, \text{a.s.}, \\ &\frac1N\sum_{j=1}^{N-k} (Y_{j+k}+Y_j) =\frac1N \left(\sum_{j=1}^{N} Y_j - \sum_{j=1}^{k} Y_j + \sum_{j=1}^{N-k} Y_j \right) \\ =& \bar Y_N - \frac{1}{N}\sum_{j=1}^k Y_j + \frac{N-k}{N} \bar Y_{N-k} \to 0, \text{a.s.}, \end{aligned}\] 于是, 从(16.5)式可知 \[ \hat \gamma_k = \frac1N\sum_{j=1}^{N-k} Y_j Y_{j+k} + o(1) \to E(Y_1 Y_{1+k}) = \gamma_k, \ \text{a.s.} \]

○○○○○○

只考虑线性序列。 设\(\{\varepsilon_t\}\)是4阶矩有限的独立同分布的 \(\text{WN}(0, \sigma^2)\)(\(\sigma^2>0\)), 实数列\(\{\psi_k\}\)平方可和. 线性平稳序列 \[\begin{align} X_t = \sum_{j=-\infty}^{\infty} \psi_j\varepsilon_{t-j}, \quad t\in \mathbb Z, \tag{16.6} \end{align}\] \(\{X_t\}\)有自协方差函数 \[\begin{align} \gamma_k = \sigma^2 \sum_{j=-\infty}^{\infty} \psi_j\psi_{j+k} \tag{16.7} \end{align}\] \(\{X_t\}\)有谱密度 \[\begin{align} f(\lambda) = \frac{\sigma^2}{2\pi} \left|\sum_{j=-\infty}^{\infty}\psi_j e^{ij\lambda}\right|^2. \tag{16.8} \end{align}\]

设自协方差函数列\(\{\gamma_k\}\)平方可和。 设\(\{W_t\}\)为独立同分布N(0,1)。 令 \[\begin{aligned} \mu_4 = E \varepsilon_1^4, \quad M_0 = \frac{1}{\sigma^2}(\mu_4 - \sigma^4)^{1/2} > 0 \end{aligned}\] 定义正态时间序列 \[\begin{align} \xi_j =& (M_0 \gamma_j)W_0 + \sum_{t=1}^\infty (\gamma_{t+j} + \gamma_{t-j}) W_t, \quad j\geq 0 \tag{2.11} \\ R_j =& \sum_{t=1}^\infty (\rho_{t+j} + \rho_{t-j} - 2\rho_t\rho_j) W_t, \quad j \geq 1, \tag{16.9} \end{align}\]

定理16.2 设\(\{\varepsilon_t\}\)是独立同分布的\(\text{WN}(0,\sigma^2)\), 满足 \(\mu_4=E\varepsilon_1^4q\): \(\sqrt{N} \hat \rho_m\)依分布收敛到\(R_m\)的分布。 \[\begin{aligned} R_m =& \sum_{t=1}^\infty(\rho_{t+m} + \rho_{t-m} - 2\rho_t\rho_m) W_t, \quad m \geq q+1 \end{aligned}\] 注意\(m \geq q+1\)时\(\rho_m=0, \rho_{t+m}=0\), \(\rho_{t-m}\)中的\(t-m\)应属于\([-q,q]\)，所以令 \(l=t-m\)有 \[\begin{aligned} R_m =& \sum_{l=-q}^q \rho_l W_{l+m} \end{aligned}\] \(R_m\)为期望为0, 方差为 \(1+2\rho_1^2 + 2\rho_2^2+\dots+ 2\rho_q^2\)的正态分布.

在假设\(H_0\):  \(\{X_t\}\)是MA\((q)\)下, 对\(m> q\)有 \[ \Pr\left (\frac{ \sqrt{N}|\hat \rho_m| } {\sqrt{1+2 \rho_1^2 + 2 \rho_2^2+\dots+ 2\rho_q^2}} \geq 1.96\right )\approx 0.05. \] 令 \[ T_q(m) = \frac{ \sqrt{N}\hat \rho_{m+q}} {\sqrt{1+2\hat \rho_1^2 + 2\hat \rho_2^2+\dots+ 2\hat \rho_q^2}}, \ m > q \] 则在\(H_0\)下\(T_q(m)\)近似服从标准正态分布， 可以用\(\{ |T_q(m)| > 1.96 \}\)作为\(H_0\)的水平为0.05的近似检验否定域。

例16.1 现在用\(\{X_t\}\)表示第12章例12.1中差分后的化学浓度数据, 在\(H_0\):  \(\{X_t\}\)是MA\((q)\)下, 分别对\(q=0,1\)计算出\(T_q(m)\), \(m=1,2,\dots,6\)。

\[ \begin{array}{lrrrrrrr} m = &1&2&3&4&5&6\\ q=0 &-5.778 & 0.281 & -0.951 & -0.121 & -1.071& -0.116 \\ q=1 & 0.243 & -0.821 & -0.104 & -0.925 & -0.100& 1.631 \end{array} \] 在\(q=0\)的假设下,\(|T_0(1)|=5.778>1.96\), 所以应当否定\(q=0\).

也可以计算检验的近似p值，如\(q=0\), \(m=1\)时 \[ p=P(|Z| \geq |-5.778|), \] 其中\(Z\)表示标准正态分布随机变量 \(p\)值越小,数据提供的否定原假设的依据越充分. 这里的p值基本为0，所以应该拒绝\(q=0\)的假设。

取\(q=1\)时 \(|T_1(m)|